Large pre-trained models, such as Bert, GPT, and Wav2Vec, have demonstrated great potential for learning representations that are transferable to a wide variety of downstream tasks . It is difficult to obtain a large quantity of supervised data due to the limited availability of resources and time. In light of this, a significant amount of research has been conducted in the area of adopting large pre-trained datasets for diverse downstream tasks via fine tuning, linear probing, or prompt tuning in low resource settings. Normalization techniques are essential for accelerating training and improving the generalization of deep neural networks and have been successfully used in a wide variety of applications. A lot of normalization techniques have been proposed but the success of normalization in low resource downstream NLP and speech tasks is limited. One of the reasons is the inability to capture expressiveness by rescaling parameters of normalization. We propose KullbackLeibler(KL) Regularized normalization (KL-Norm) which make the normalized data well behaved and helps in better generalization as it reduces over-fitting, generalises well on out of domain distributions and removes irrelevant biases and features with negligible increase in model parameters and memory overheads. Detailed experimental evaluation on multiple low resource NLP and speech tasks, demonstrates the superior performance of KL-Norm as compared to other popular normalization and regularization techniques.

尽管深度学习模型在图像语义细分中取得了巨大进展，但它们通常需要大的注释示例，并且越来越多的注意力转移到了诸如少数射击学习（FSL）之类的问题设置中，在这些设置中，只需要少量注释才能泛化才能概括地进行概括的概括。新颖的课程。这尤其在医疗领域中可以看到，那里的像素级注释昂贵。在本文中，我们提出了正则原型神经差微分方程（R-PNODE），该方法利用神经模型的固有特性，通过额外的簇和一致性损失来辅助和增强，以执行几个器官的几分片段分割（FSS）。 R-Pnode将同一类的支持和查询功能限制在表示空间中，从而改善了基于现有的卷积神经网络（CNN）的FSS方法的性能。我们进一步证明，尽管许多现有的基于CNN的现有方法往往非常容易受到对抗攻击的影响，但R-Pnode表现出对各种攻击的对抗性鲁棒性的提高。我们在内域和跨域FSS设置中使用三个公开可用的多器官分割数据集，以证明我们方法的疗效。此外，我们在各种设置中使用七个常用的对抗攻击进行实验，以证明R-Pnode的鲁棒性。 R-Pnode的表现优于FSS的基线，并且在强度和设计方面也显示出卓越的性能。

预测地标的面部图像中的属性本身就是一个具有挑战性的任务，当由于使用面具而被遮挡时，进一步复杂。利用身份验证或安全登录到个人电子小工具的智能访问控制门可以使用面部作为生物特征。特别是，Covid-19大流行越来越多地验证卫生和非接触式身份验证的基础。在这种情况下，掩模的使用变得更加不可避免并且表演属性预测有助于在协作环境中对社区传播或确保他们的社会疏散来分离目标脆弱的群体。我们通过有效地覆盖不同形状，尺寸和纹理的掩模来创建一个蒙面的面部数据集，以有效地模拟戴掩模产生的变异性。本文提出了深度多任务学习（MTL）方法，共同估计来自单个掩蔽的面部图像的各种异构属性。基准面部属性UTKface数据集的实验结果表明，所提出的方法在绩效中取代其他竞争技术。

我们介绍Softmax梯度篡改，一种用于修改神经网络后向通过的梯度的技术，以提高其准确性。我们的方法使用基于功率的概率变换来改变预测的概率值，然后将梯度重新计算在后向通过。这种修改导致更平滑的渐变简介，我们在经验和理论上展示。我们对剩余网络进行了转换参数进行了网格搜索。我们证明修改CUMMNET中的软MAX梯度可能导致培训准确性提高，从而增加训练数据的适合，并最大限度地利用神经网络的学习能力。当与标签平滑等正则化技术相结合时，我们获得更好的测试度量和更低的泛化间隙。 Softmax渐变篡改在ImageNet DataSet上的基线上以0.52 \％$ 0.52 \％$ 0.52 \％$ 0.52 \％。我们的方法非常通用，可以跨各种不同的网络架构和数据集使用。